草庐IT

【ML】第 2 章:PySpark 简介

全部标签

K8S简介和安装部署详细教程

目录一、K8S简介Kubernetes集群组件逻辑图Master节点组件及功能Slave节点组件及功能      安装部署二进制包kubeadm工具二、准备工作软硬件要求集群规划环境配置修改hosts配置配置SSH免密登录关闭Swap分区禁用SELinux关闭防火墙修改内核参数配置集群时钟同步配置k8s的Yum源三、安装Docker四、安装K8S集群安装三大组件-kubeadm、kubelet、kubectl初始化k8s集群加入节点安装网络插件五、测试K8S集群创建nginxpod对外暴露访问访问nginx六、安装Dashboard通过kubectl命令安装创建访问账号获取token登录界面一

第三阶段第一章——PySpark实战

学习了这么多python的知识,是时候来搞点真玩意儿了~~春风得意马蹄疾,一日看尽长安花o(* ̄︶ ̄*)o 1.前言介绍(1)什么是spark        ApacheSpark是一个开源的分布式计算框架,用于处理大规模数据集的计算任务。它提供了一种高性能、通用、易用的计算引擎,支持数据并行处理、内存计算、迭代计算等多种计算模式,并提供了丰富的API,比如SparkSQL、SparkStreaming、Mlib和Graphx等。Spark的基本单元是弹性分布式数据集(RDD),它是一种可分区、可并行计算的数据结构,可以在多个节点上进行操作。Spark可以运行在多种集群管理器上,包括Hadoo

【ML入门】anaconda环境搭建

【ML入门】anaconda环境搭建一、安装anacondaanaconda简介直接安装python不是更快吗,为什么使用anaconda?可以理解anaconda是一个大容器(类似docker),里面可以建立多个python虚拟环境,对于不同的工程项目,可以做到随意切换,方便管理。1、anaconda官网下载对应电脑版本的anaconda版本,并安装。考虑到兼容性问题,建议下载中版本2、安装好anaconda后在命令行中键入conda-V观察版本号3、建立一个虚拟环境并启动建立一个名为code,pythonversion=3.6的虚拟环境condacreatecodepython=3.6如果

1.OpenCV简介及安装

OpenCV-Python1.OpenCV简介2.OpenCV-Python安装(1)Win11系统下简单安装opencv-python(2)Win11系统下anaconda安装opencv-python(3)Win11系统下创建conda虚拟环境安装opencv-python1.OpenCV简介OpenCV  一个基于Apache2.0许可(开源)发行的跨平台(Linux、Windows、Android和MacOS操作系统)计算机视觉和机器学习软件库。轻量且高效(由系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等多种语言的接口),更实现了图像处理和计算机视觉方面

微软推出跨平台框架 ML.NET 3.0 版本:强化深度学习功能、加强 AI 计算效率

IT之家 11月29日消息,微软日前宣布推出跨平台机器学习框架 ML.NET 3.0,主要强化了深度学习功能,改进 ML.NET 数据处理能力,并添加了英特尔oneDAL加速训练技术,以及自动机器学习等功能。▲图源微软IT之家注意到,ML.NET 3.0提供了多项深度学习功能,包含“物体检测”、“命名实体辨识”和“问答处理”等。其中“物体检测”能够在图像中定位并分类不同类型的实体,官方介绍称,物体检测是一项电脑视觉任务,和“图像分类”关系密切,但分类相对更精细,当影像中包含不同类型的物体时,官方建议使用相关功能。而命名实体辨识和问答处理基于微软新添加的TorchSharpAPI,该 API是一

Python大数据之PySpark(五)RDD详解

文章目录RDD详解RDD的创建后记RDD详解为什么需要RDD?首先Spark的提出为了解决MR的计算问题,诸如说迭代式计算,比如:机器学习或图计算希望能够提出一套基于内存的迭代式数据结构,引入RDD弹性分布式数据集,如下图为什么RDD是可以容错?RDD依靠于依赖关系dependencyrelationshipreduceByKeyRDD-----mapRDD-----flatMapRDD另外缓存,广播变量,检查点机制等很多机制解决容错问题为什么RDD可以执行内存中计算?RDD本身设计就是基于内存中迭代式计算RDD是抽象的数据结构什么是RDD?RDD弹性分布式数据集弹性:可以基于内存存储也可以在

【鸿蒙应用ArkTS开发系列】- 云开发入门简介

目录概述开发流程工程概览工程模板工程结构工程创建与配置概述HarmonyOS云开发是DevEcoStudio新推出的功能,可以让您在一个项目工程中,使用一种语言完成端侧和云侧功能的开发。基于AppGalleryConnectServerless构建的云侧能力,开发者无需构建和管理云端资源,随需使用,大大提高构建应用/元服务的效率。认证服务:可以为应用快速构建安全可靠的用户认证系统。云函数:一方面将开发测试的对象聚焦到函数级别,可以大幅简化应用开发与运维相关的事务;另一方面通过云函数SDK,可以便捷操作云数据库、云存储等,提升业务功能构建的便利性。云数据库:在保证数据的可用性、可靠性、一致性,以

HuggingFace 简介

HuggingFace简介0.HuggingFace简介1.HuggingFace官网地址2.HuggingFace标准研发流程3.HuggingFace工具集4.编码工具4.1编码工具介绍4.2使用编码工具5.数据集工具5.1数据集工具介绍5.2使用数据集工具6.评价指标工具6.1评价指标工具介绍6.2使用评价指标工具7.管道工具7.1管道工具介绍7.2使用管道工具8.训练工具8.1训练工具介绍8.2使用训练工具0.HuggingFace简介HuggingFace是一个开源社区,提供了开源的AI研发框架、工具集、可在线加载的数据集仓库和预训练模型仓库。1.HuggingFace官网地址htt

nodemon学习(一)简介、安装、配置、使用

简介nodemon用来监视node.js应用程序中的任何更改并自动重启服务,非常适合用在开发环境中。以前,我们开发一个node后端服务时,每次更改文件,均需重启一下,服务才能生效。这使我们的开发效率降低了很多。nodemon的出现,可以随时监听文件的变更,自动重启服务,我们开发时只需关注代码即可,不再需要手动重启服务。【在之前我们启动应用服务采用的方式都是nodeapp.js,但我们每次修改完node代码之后都需要重启服务器即是重新运行命令nodeapp.js才能完成修改。现在使用nodemon替代node在开发环境下启动服务就不会这么麻烦了。nodemon将监视启动目录中的文件,如果有任何文

一、Docker 简介

前言:本课程需要Linux基础,asp.netcore/mvc/webapi等基础开发知识,2-5年以上的开发经验。市场上很多docker课程对于.net程序员都不是特别友好,虽然Docker是一款致力于云原生开发与开发平台无关的容器化技术,但市场上大部分的教程案例都是以Java为例。本人刚好身兼两门开发技术,在本课程中会以Java与.NetCore两种开发语言为大家进行案例展示。 1.为什么使用Docker为了跳槽加薪,这个是最现实的问题解决环境差异,安装麻烦问题从搬家到搬楼的区别,再也不用说我这人认床啦。Docker可以将所有依赖的环境一键打包成镜像,现在就算是来了几十台服务器也不用担心环